13. Pre-Notebook:负采样
Notebook:Word2Vec,负采样
下面你需要使用 SkipGram 结构和负采样改善 Word2Vec 模型并加快训练速度。
建议使用当前标签页观看课程,同时用新标签页打开 notebook,边学习边操作。这样可以一边学习新技能,一边编写代码/运用新技能。
打开 notebook 的方法:
说明
- 定义一个新的模型,它有两个嵌入层和多个 forward 函数
- 定义一个自定义损失,它会从噪点分布中抽取输出字词
- 训练 RNN(快速训练)
- 可视化在嵌入层中学习的嵌入向量
这是一个自我评估 Lab。如果你需要帮助或想参考答案,请查看同一文件夹里的 solution notebook,或点击此处。
GPU Workspace
下个 workspace 支持 GPU,所以你可以选择在 GPU 实例上训练模型。建议做法:
- 在 CPU 模式(非启用模式)下加载数据、测试函数和模型(检查参数并执行简短的训练循环)
- 准备好大规模地训练和测试模型时,启用 GPU 以快速训练模型
当做输入的所有模型和数据都必须移到 GPU 设备上,所以请注意模型创建和训练流程中的相关移动代码。